查看原文
其他

3.1个羊驼顶1个GPT4,评测Llama 405B 10大实用场景

AI沃茨 卡尔的AI沃茨
2024-11-11
动手指数 🌟🌟🌟🌟🌟 | 彩蛋进度条 9️⃣9️⃣%

Happy Llama day :)

Meta的Llama 3.1 突袭发布了!依然是熟悉的磁力链接,依然是完全开源,参数公开!小扎,你真的我哭死!

本次发布了三个量级的模型:Llama 3.1 8B, 70B和405B(巨无霸)

这篇文章就来和大家盘点一下到目前为止,Llama 3.1 10个的炸裂表现!


目录速览 ShowMeAI

  • 首个击败GPT-4o等的开源模型

  • Llama 3.1 看点一图总结

  • 128K 超长上下文

  • 兼容速度最快的模型!1200+ token/秒

  • 开发者福音!支持植入VSCode!

  • 搭配 Groq 超快速度,网友直接拿来投资💹

  • Llama语音版也出现了!

  • Llama 3.1 8B吊打GPT-4o mini

  • 小扎 的 Llama 3.1 采访

  • 写在最后

(文末有免费体验地址合集!!)

首个击败GPT-4o等的开源模型

Meta 本次发布的Llama 3.1 405B,是首个在多个基准测试中击败了GPT-4o等顶级闭源商业模型的的开源模型!

开源模型站起来了!!!

Llama 3.1 405B 是世界上最大、功能最强大的开源基础模型

上下文也达到了128k!

上一代还是8k,翻了16倍

Llama 3.1 405B多项性能超越 GPT-4、GPT-4o 和 Claude 3.5 Sonnet。

同系列的 Llama 3.1 8B 可以说是称霸小模型赛道了!

当然还有人用 Llama 3.1 405B Instruct FP8 测试经典中文问题

1)9.11和9.9哪个大

2)解释一下 我一把把把把住了”

图自 @ZHOZHO672070

Llama 3.1 看点一图总结

开源不彻底,就是彻底不开源🙈

Meta 不仅发布了 405B Llama 配重,还发布了一篇解释其制造方法的论文。

网友评论:”Llama 团队正在做上帝的工作!“

感兴趣的朋友也可以去读一下报告:干货满满!

需要中文版的评论区戳我加快翻译进度🏃

报告地址:https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

128K的超长上下文

Llama 3.1 405B支持128K的上下文,非常适合用于基于检索的生成(RAG)模型

这里也给大家找到了两个优势场景的例子:

from:@GPTDAOCN

兼容速度最快的模型!

Llama3.1是我见过兼容速度最快的模型了!没有之一,这个月的炸裂指标就是你👉🦙🦙🦙!

Groq 加持下的 Llama 目前高达 1200+ token/秒

Fireworks AI支持运行Llama 3.1系列托管版本

网友热🥵评

Ollam 也上线了Llama 3.1全系列!

(燃烧吧,我的电脑,231GB的模型!)

Replicate 也火速上线Meta Llama 3 70B 和 🦙 Meta Llama 3 8B

开发工具也有加持buff,vLLM也上线了Llama 3.1!

vLLM是一家用于LLMs的高吞吐量和内存高效的推理和服务引擎

vLLM 在最新的 H200 GPU 上运行,Llama 3.1 405B,为每个用户提供高token吞吐量!

我们的老朋友 Poe 也连夜上线了Llama 3.1 105B模型!

(大模型多点开花的时期,Poe越来越香了!)

开发者福音!可以植入VSCode!

Llama 3.1可以通过Groq直接在VSCode中作为代码助手使用,也可以直接通过codegptAI插件直接在VSCode中使用!

搭配Groq超快速度,网友直接拿来炒股💹

网友直接用Groq 的API搭配 StockBot 进行投资!

StockBot 是一款利用 Groq 的速度、 vercelAI SDK tradingview 的实时小部件来为 AI 聊天机器人提供实时响应的应用程序,量身定制的交互式图表。

<<< 左右滑动见更多 >>>

StockBot 集成六个 tradingview 小部件,包括:

  • 每日市场表现热图
  • 股票财务数据明细
  • 股票价格历史记录
  • 特定资产的蜡烛图股票图表
  • 特定股票的头条新闻
  • 股票筛选器

使用地址:https://groq-stockbot.vercel.app/

Llama语音版也出现了!

又是Groq, 直接推出了语音版Llama,这个速度大家直接感受吧!

Llama 3.1 8B吊打GPT-4o mini

小模型玩法又要变天了!

不得不说!动作是真的快,Llama 3.1 才刚发布,x上的国外大佬已经把微调版本测试好了!

直接看结果!

OpenAI:GPT-4o mini超高性价比!

Meta:我们free!!!

评论区这位大佬也说了微调的教程:(四步到胃)

小扎关于Llama 3.1的采访

感谢宝玉大佬的翻译!@dotey

写在最后

就像小扎在采访中说的那样:

Llama 会成为开源 AI 的行业标杆,就像当年的 Linux 一样!

让我们掌声送给这只羊驼🦙!

作者 / 卡尔 & 祝豪动手学AI 知识库 👉 learnprompt.pro


最后,感谢你看到这里👏如果喜欢这篇文章,不妨顺手给我们点赞👍|在看👀|转发📪更多的内容正在不断填坑中……

今日份的彩蛋码是🎲🎲🎲 公众号回复羊驼


修改于
继续滑动看下一个
卡尔的AI沃茨
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存